SEEK: Skill-Routed Evaluation with Evolvable Knowledge for Industrial Search
SEEK：工业搜索中技能路由与可演化知识的评估框架
🧭 LLM-as-a-Judge 搜索质量评估 ★ 深度解读
Peking University · Kuaishou Technology
提出 SEEK 框架，将搜索评估标准外部化为技能库，动态路由相关技能进行列表级评估与归因，并支持不重训模型的知识更新
📌 工作参考价值（4 点）
- 技能化评估标准：将多维度评估规则拆成独立技能（路由描述+操作指南），通过轻量路由器为每个样本选择相关子集，避免全量规则塞入 prompt 导致的上下文冗余和标准干扰。业务中可用于搜索/推荐结果的自动评测，尤其适合规则多且频繁更新的场景。
- 外部知识更新机制：评估标准变化时只需修订技能银行的指南，冻结模型参数，通过重放验证保证不损害历史性能。这实现了轻量级快速迭代，无需重新训练评估 LLM，适合业务规则频繁调整的电商/广告场景。
- 两阶段训练 + 层次化奖励：先用教师模型生成证据轨迹和路由标签，再 SFT + DAPO 强化学习，奖励包含最终判断、技能诊断质量、冲突惩罚，提升列表级判断与归因一致性。可借鉴用于训练内部 LLM-as-a-Judge，提高诊断可解释性。
- 生产可行性：LLM 评估在 24k 样本上达 0.842 准确率，比外包审核高 5.9 个点，耗时仅 0.9 小时（40 倍提速），说明可替代人工评估作为大规模质量监控和故障分析工具。